PII Detection - 12 Model Benchmark Report

300 Test Cases (Base 200 + Advanced 100) · V1 Full Prompt · FP8 Quantization · NVIDIA L40S 46GB

Score Comparison
Base (200): 명확한 레이블과 정형화된 문서에서의 기본 PII 검출 · Advanced (100): 난독화, OCR 오류, 혼합 문서, 엣지케이스 등 노이즈가 반영된 어려운 상황 · Combined (300): Base + Advanced 전체
Detailed Statistics
ModelCasesPerfectAccuracy PrecisionRecallF1 TPFPFN Latency
Confusion Matrix (Document-Category Level)

TP = PII exists & detected (good), TN = No PII & not detected (good), FP = No PII but detected (false alarm), FN = PII exists but missed (privacy risk)

Sensitivity = TP/(TP+FN), Specificity = TN/(TN+FP)

Model
Per-Category Confusion Matrix
Model
Category TPTN FPFN SensitivitySpecificity
Case Browser
Model Dataset
Result
PII
Case Study: Qwen3-30B-A3B Error Analysis

Qwen3-30B-A3B (MoE 30B, 3B active) — 불완전 케이스 심층 분석

실패 패턴 분류

실패 유형건수대표 TC설명